Khái niệm nhà chọc trời lần đầu tiên được sử dụng với những toà nhà có kết cấu khung thép cao ít nhất 10 tầng được xây dựng vào cuối thế kỷ XIX, là kết quả từ sự kinh ngạc của công chúng với chiều cao của những toà nhà được xây dựng tại khắp các thành phố như Chicago, New York, Philadelphia, Detroit và St. Louis.[8] Toà nhà chọc trời đầu tiên được xây dựng là Toà nhà bảo hiểm (10 tầng, cao 42m) tại Chicago vào năm 1885. Ngày nay chiều cao của Toà nhà Bảo hiểm là hết sức bình thường, nhưng vào thời điểm xuất hiện nó đã thực sự gây kinh ngạc cho công chúng.

Sự phát triển bước ngoặt của nhà chọc trời nằm ở sự ra đời và các phát minh về công nghệ vật liệu như thép, kính, bê tông cốt thép, máy bơm nước và thang máy. Cho đến tận thế kỷ XIX, những công trình cao trên 6 tầng rất hiếm. Việc sử dụng cầu thang bộ cho nhiều tầng hoặc hệ thống bơm nước không có đủ khả năng bơm nước cao hơn 15 m (50 ft) trở nên vô cùng bất tiện cho các cư dân thời đó.

Nước Anh cũng có đóng góp một số công trình vào giai đoạn đầu của sự phát triển nhà chọc trời. Công trình đầu tiên phù hợp với định nghĩa về mặt kết cấu của nhà chọc trời là Khách sạn Grand Midland, hiện nay là St Pancras Chambers, ở thủ đô Luân Đôn. Công trình được hoàn thành năm 1873 với chiều cao là 82 m (269 ft). Tòa nhà Shell Mez ở Luân Đôn có tổng số 12 tầng và chiều cao là 58 m (190 ft) được hoàn thành năm 1886 đã đánh bại công trình "Tòa nhà Bảo hiểm" cả về số tầng lẫn chiều cao. Theo những tiêu chuẩn hiện đại thì công trình đầu tiên của thể loại nhà cao tầng là Tòa nhà Woolworth (Woolworth Building) ở New York.

Hầu hết những nhà chọc trời đầu tiên xuất hiện ở các đô thị lớn như New York, Luân Đôn, Chicago vào cuối thế kỷ XIX. Tuy nhiên các công trình ở Luân Đôn sớm bị giới hạn chiều cao do than phiền của Nữ hoàng Victoria của Anh. Điều luật này tồn tại đến năm 1950 mới được sửa đổi. Một số điều luật liên quan đến thẩm mỹ và luật an toàn phòng hỏa cũng làm cản trở sự phát triển của nhà chọc trời ở lục địa châu Âu vào nửa đầu thế kỷ XX. Ở thành phố Chicago, người ta cũng ra một điều luật giới hạn chiều cao nhà chọc trời ở con số 40. Do vậy New York là thành phố dẫn đầu trên thế giới về phát triển chiều cao của nhà chọc trời. Từ cuối thập niên 1930, nhà chọc trời cũng dần dần xuất hiện ở Nam Mỹ như São Paulo, Buenos Aires và ở châu Á như Thượng Hải, Hồng Kông và Singapore.

Ngay sau Chiến tranh thế giới thứ hai, Liên Xô có kế hoạch xây dựng tám công trình cao tầng khổng lồ hay còn gọi là Các toà tháp của Stalin ở thủ đô Moskva: cuối cùng bảy trong số đó đã được xây dựng, được mang tên Bảy chị em Moskva. Phần còn lại của châu Âu cuối cùng cũng chậm chạp khởi động, bắt đầu với thành phố Madrid, thủ đô của Tây Ban Nha trong những năm 1950. Nhà chọc trời cuối cùng cũng xuất hiện ở châu Phi, Trung Đông và châu Đại Dương từ cuối thập niên 1960.

Ngày nay, không thành phố nào trên thế giới có nhiều công trình cao trên 150 m hơn New York, quê hương của tháp Đế chế, của Tòa nhà Chrysler và của Trung tâm Thương mại Thế giới cũ. Điều luật về các công trình cao tầng ở Chicago cũng chỉ được nới lỏng vào năm 1960, trong vòng 15 năm sau đó có rất nhiều công trình cao tầng được xây dựng, trong số đó có tòa tháp Sears khổng lồ với chiều cao 442 m (1451 ft). Kể từ cuối thập niên 1980, Hồng Kông đóng góp một số công trình nhà chọc trời nổi tiếng, bao gồm Nhà băng Trung Quốc và Trung tâm Tài chính Quốc tế. Bộ ba Chicago, Hồng Kông và New York được xem là ba ông lớn về nhà cao tầng trên thế giới.

Trước sự khan hiếm về đất đai xây dựng cũng như tỉ lệ hoàn vốn và lợi nhuận trên diện tích sàn cao, nhà chọc trời trở thành một xu hướng phát triển chung của loài người. Mặt khác, nhà cao tầng cũng được xem như biểu tượng của sức mạnh kinh tế.

Hiện tại tháp Burj Khalifa đã hoàn thành ở Dubai, Các Tiểu Vương quốc Ả Rập Thống nhất. Đó là kết cấu cao nhất trên thế giới với chiều cao ước chừng là 643,3 m. Với sự xuất hiện của mình, tháp Burj đánh dấu sự ra đời của một thể loại công trình mới: nhà siêu chọc trời.

Một số công trình nhà chọc trời nổi tiếng trên thế giới:

• Tòa nhà John Hancock Center (1970) do hãng SOM (Skidmore, Owings & Merril) thiết kế
• Tòa tháp đôi Trung tâm Thương mại Thế giới (World Trade Center) (1966-1976) ở New York do kiến trúc sư người Mỹ gốc Nhật Bản Minoru Yamasaki thiết kế
• Tòa nhà Sears Tower (1974), do hãng SOM thiết kế
• Tòa nhà Kirin Plaza ở Osaka, Nhật Bản (1987) do kiến trúc sư đương đại Nhật Bản Shin Takamatsu thiết kế
• Tòa nhà AT&T ở New York (1989) do kiến trúc sư người Mỹ Philip Johnson thiết kế theo dòng kiến trúc Hậu hiện đại
• Tòa nhà Ngân hàng Trung Hoa ở Hồng Kông do kiến trúc sư người Mỹ gốc Trung Quốc I.M.Pei thiết kế